I motori di ricerca riescono ad indicizzare le pagine web dei siti tramite dei robot che scansionano il web e posizionano le pagine sul motore di ricerca in base a molteplici parametri. Ci sono vari robot che eseguono questa operazione. Lo sai che esiste un modo per avere il controllo completo su chi esegue la scansione e